AgentJudgeBench: A Multi-Difficulty Benchmark for Evaluating LLM Judges on Agentic Tool-Calling
AgentJudgeBench：面向Agentic工具调用的LLM评判器多难度基准
🧭 Agentic Tool-Calling 评测 · LLM-as-a-Judge
ServiceNow AI
首个系统性评估LLM评判器在依赖型Agentic工具调用工作流上的可靠性基准，揭示无真值时所有评判器收敛于77-82%的结构性天花板
📌 工作参考价值（4 点）
- 在电商/广告的 Agentic 工作流评测中，若缺乏 ground truth，多个 LLM judges 对困难任务的打分可能收敛到同一窄带（77-82%），区分度不足；建议对关键路径使用 programmatic reference 或人工标注作为主评测，LLM judge 仅作为辅助。
- 结构化 evaluation rubric 可提升对齐最高 6.5 pp，但效果随 judge-generator 组合波动；落地前需用小规模标注集对 rubric 做 pair-wise 校准，不要直接套用通用模板。
- CoT 和温度对 judge 对齐几乎无影响，生产环境可省去这两项调参，把算力投入到更细粒度的 rubric 或真实依赖建模。
- 提供 ground truth 并不总是好事：GPT-5.4 和 Gemini-2.5-Pro 在有真值时对齐下降，存在 over-anchoring；建议评估时对强模型采用“先独立评分，再给参考”的流程，或显式要求忽略 anchor。